Curso 3 Getting and Cleaning Data (Datawrangling)

Raw data VS. Processed Data

CodeBook ————-

Ficheros

Un primer caso habitual en la recogida de datos, será descargar de internet dicho fichero de datos. A continuación se describe el mejor proceso para hacerlo:

Leer XML

Other Example

Leer JSON

DATA.TABLE

Es una versión más rápida y eficiente que los data.frames en algunas ocasiones.

Una manera de hacer subconjuntos muy rápido es crear claves

https://stackoverflow.com/questions/13618488/what-you-can-do-with-data-frame-that-you-cant-in-data-table

Acceso a base de datos (mySQL)

Acceos a HDF5

Webscraping ————-

Otros recursos

DPLYR VS DATAFRAME

CREAR COLUMNA

Dataframe

data$nuevoNombre <- ifelse(data$name=='TORNADO';'TOR';data$name)

Dplyr

data %>%
    mutate(nuevoNombre =  ifelse(data$name=='TORNADO';'TOR';data$name))

msleep %>%
    mutate(rem_proportion = sleep_rem / sleep_total)

AGRUPAR

Agregate

INJ <- aggregate(INJURIES ~ EVTYPE, data, FUN = sum)

Data table

DT <- data.table(data)
INJ <- DT[,sum(INJURIES),by=EVTYPE]

Dplyr

INJ <-  data %>% groupby(EVTYPE)%>%summarise(total.sum=sum(INJURIES)

ORDENAR

DataFrame

INJ <- INJ[order(-INJ$V1),]

Dplyr

INJ <- arrange(INJ, desc(V1))

# grouped arrange ignores group
INJ %>% arrange(desc(V1))
# Unless you specifically ask:
INJ %>% arrange(desc(V1), .bygroup = TRUE)

SELECCIONAR

Dataframe

event <- c("EVTYPE", "FATALITIES", "INJURIES", "PROPDMG", "PROPDMGEXP", "CROPDMG",
           "CROPDMGEXP")
data <- storm[event]

dplyr

data <- select(storm, EVTYPE, FATALITIES,INJURIES,PROPDMG)

FILTRAR

Dataframe

data$CROPEXP[data$CROPDMGEXP == "2"]

dplyr

filter(data, CROPDMGEXP >= 16)